查找引擎抓取頁(yè)面內容是經(jīng)過(guò)網(wǎng)絡(luò )蜘蛛，蜘蛛經(jīng)過(guò)頁(yè)面中的文本連接遍歷網(wǎng)站web頁(yè)面，web 過(guò)超級文本懇求html文檔并拜訪(fǎng)web站點(diǎn)頁(yè)面，使用html言語(yǔ)符號、標簽規劃來(lái)查找信息，獲取其他指向其他頁(yè)面的超文本url途徑。
    html標簽一般分為以下幾類(lèi)：文本、注釋、標簽。頁(yè)面中除掉標簽，一切數據都能夠當作文本，由標簽所圍住和操控。html標簽反映了頁(yè)面的層次信息，包含了內容規劃（經(jīng)過(guò)標簽剖析文檔的規劃）、顯現作用（字體、色彩、階段區分）和語(yǔ)義信息（文本、多媒體、連接），因而咱們要確保數據在文本之內和而腳本代碼大概盡能夠與網(wǎng)站標簽別離，便利查找引擎蜘蛛對腳本代碼和數據文本辨認并做好有關(guān)語(yǔ)義化規劃剖析。
    經(jīng)過(guò)對頁(yè)面的html言語(yǔ)規劃處置，查找引擎會(huì )構建頁(yè)面規劃Dom樹(shù)（供給的拜訪(fǎng)XML文檔信息的前言是一種分層目標模型，在對XML文檔進(jìn)行剖析之后，不論文檔簡(jiǎn)略、雜亂，都把其間的信息都會(huì )被轉化成一棵目標節點(diǎn)樹(shù)），頁(yè)面嵌套層次越深，標簽和內容越來(lái)越多，當瀏覽器無(wú)法批改標簽時(shí)，就會(huì )“將某個(gè)過(guò)錯塊內的一切標簽悉數去掉，僅保存內容”。解析Dom時(shí)不會(huì )更改頁(yè)面html代碼文件，僅僅對頁(yè)面進(jìn)行解析，這也是為何頁(yè)面html過(guò)錯需要去驗證，而瀏覽器選用的主動(dòng)修正和兼容性方法，因而不驗證發(fā)現不了過(guò)錯，并且在解析過(guò)程中會(huì )對剩余的標簽和特點(diǎn)進(jìn)行鏟除，無(wú)法批改和鏟除的將會(huì )主動(dòng)除掉，這即是瀏覽器的“收拾形式”。一般來(lái)說(shuō)其次這種樹(shù)形規劃也是根據標簽的根底（標簽與標簽區分一個(gè)區域，標簽之間并排或許彼此嵌套形成了頁(yè)面文件的樹(shù)形規劃），查找引擎蜘蛛經(jīng)過(guò)經(jīng)過(guò)對頁(yè)面不相同的標簽對頁(yè)面進(jìn)行分塊。
    頁(yè)面的Dom樹(shù)與頁(yè)面的分塊緊密聯(lián)系，其間html標簽、視覺(jué)信息對頁(yè)面進(jìn)行分塊的主要依據，相應從連接剖析和內容文本中抓取和辨認主題，頁(yè)面的不相同主題和內容之間的分塊也能夠經(jīng)過(guò)標簽和連接來(lái)進(jìn)行信息構建，這即是web規區分塊算法，查找引擎在解析是更著(zhù)重“內容塊”的概念，即一個(gè)標簽一個(gè)塊。查找引擎解析構建dom樹(shù)時(shí)，當解析發(fā)作過(guò)錯（標簽不匹配）就會(huì )啟用收拾形式，但修正過(guò)錯能夠僅僅關(guān)于塊為單位，即查找過(guò)錯塊節點(diǎn)的上一級節點(diǎn)（上一級過(guò)錯，持續查找上一級），若是上一級沒(méi)有過(guò)錯，那么塊內一切子塊與兒孫塊的標簽悉數除掉。所以網(wǎng)站規劃契合web規劃規劃標準代碼標準，這樣查找引擎蜘蛛才干非常好的對網(wǎng)站主題進(jìn)行辨認，經(jīng)過(guò)對主題的辨認和分類(lèi)，然后提升了咱們網(wǎng)站關(guān)鍵詞排行。
    從查找引擎的視點(diǎn)來(lái)講，在剖析內容之前條件也會(huì )像瀏覽器相同要先構建一棵完好的dom樹(shù)，只有當這棵樹(shù)構建完結，查找引擎才干斷定頁(yè)面中上下文的聯(lián)系，才不會(huì )致使頁(yè)面板塊權重發(fā)作偏移，當頁(yè)面節點(diǎn)層次較多時(shí)，要注意標簽的層次過(guò)錯，越挨近頂層的節點(diǎn)越要注意，特別是完畢標簽，關(guān)于搜索引擎優(yōu)化的影響是喪命的，其次頁(yè)面節點(diǎn)越少越好，一方面減少了查找引擎解析節點(diǎn)擔負，其次有利于查找引擎更簡(jiǎn)單斷定節點(diǎn)上下文聯(lián)系和對關(guān)鍵詞進(jìn)行加權處置。
    其次web規劃頁(yè)面規劃需求規劃（html）和體現(css)別離，當標簽的特點(diǎn)能用css代替時(shí)，則盡能夠移到css中去，這樣不只縮減了頁(yè)面文件大小，提高了蜘蛛索引和抓取網(wǎng)站頁(yè)面的功率，并且關(guān)于頁(yè)面主題的辨認，以及頁(yè)面內容的分塊，和網(wǎng)站權重規劃優(yōu)化等方面都有重要意義。